Beliau dilahirkan di Brighton dan dibesarkan di Elstree, Hertfordshire. Bapanya, Eric ialah seorang pengusaha hartanah dan juga pegawai eksekutif muzik di EMI Music manakala ibunya, Julie Cowell, seorang dari golongan bangsawan daripada keluarga Dalgleish yang berketurunan Scotland.

Simon Cowell mempunyai tiga orang abang tiri, Michael, John (ahli perniagaan yang kaya raya), dan Tony (pengarang untuk biografi Simon), dan seorang adik tiri perempuan, June (tinggal bersama anak-anak perempuannya yang berbangsa Sepanyol di Majorca). Beliau mempunyai seorang adik lelaki, Nicholas yang kini seorang jutawan dalam perniagaan hartanah.

Simon tidak menghabiskan sekolah menengah dan meninggalkan zaman persekolahannya pada usia 17 tahun. Selepas itu, beliau membuat pelbagai kerja, tetapi kebanyakannya tidak bertahan lama kerana beliau kerap menghadapi masalah dengan majikan dan rakan–rakan sekerja. Ayahnya yang ketika itu seorang pegawai eksekutif di EMI Music Publishing mengambil beliau bekerja di bilik surat-menyurat di syarikat tersebut.